huggingface==2.5.1

使用customized corpus 训练语言模型gpt2

准备字典 和数据 见 problem_lm_gpt2_news/prepare_data_dict/get_data_dict.py 数据字典格式见 problem_lm_gpt2_news/prepare_data_dict

训练 run_language_modeling_v0306.py

预测 run_generation_v0306.py

输入 prompt="滴滴百度"

03/09/2020 11:45:23 - INFO - transformers.modeling_utils - loading weights file ./output/pytorch_model.bin 03/09/2020 11:45:28 - INFO - main - Namespace(device=device(type='cuda'), k=0, length=100, model_name_or_path='./output/', model_type='gpt2', n_gpu=1, no_cuda=False, num_return_sequences=20, p=0.9, padding_text='', prompt='滴滴百度', repetition_penalty=1.0, seed=42, stop_token=None, temperature=1.0, xlm_language='')

=== GENERATED SEQUENCE 1 === 滴滴百度布局互联网业务，布局百度，持续发力AI技术，助力企业构建生态和企业生态圈。 小IT之家2月12日消息 小米官方微博显示，小米10系列手机将于2月13日下午2点正式发布，一周内即可销售出货，预约日期为2

=== GENERATED SEQUENCE 2 === 滴滴百度就推出“微信扫码”的搜索智能路由器，实现了智能清洁功能，无需搜索大数据、多人输入的数据。搜狗表示，这种新模式可以搜索到页面，然后将智能扫码进入消费场景，转化成自动搜索场景，随着搜索的不断攀升，以及知识

=== GENERATED SEQUENCE 3 === 滴滴百度也没有这么高的市场份额，其实它上市公司都还没有那么高的估值呢？还有一些对于腾讯能够把整个电视整个市场的比喻，我觉得整个2008年之前是国际互联网新闻网界的独家入局时期。腾讯总是做到了数千家老牌的企业，

=== GENERATED SEQUENCE 4 === 滴滴百度App的点评2月12日，滴滴宣布与广汽、北汽集团等部分企业联合推出“三驾马车”，将为租客提供优惠优惠、高额折扣、安全高等额度的长租公寓平台，帮助租客提高运营效率。值得注意的是，在疫情防控的关键时刻，短

=== GENERATED SEQUENCE 5 === 滴滴百度在财报中表示，用户的使用时长在两年内可能会占据大部分比例，而百度新用户在百度搜索结果中占比也已经得到进一步提升，除了广告等搜索结果外，百度也正在加速上一步走向百度APP的布局。”沈抖还透露，未来百度的

=== GENERATED SEQUENCE 6 === 滴滴百度同时宣布将向山东省、武汉市和杭州市捐赠100万元人民币，用于支持新型冠状病毒感染肺炎疫情防控工作。2月1日，腾讯基金会已经捐赠1000万元，并设立500万元，以此购买“战疫”的一线医护人员手中。本次1

=== GENERATED SEQUENCE 7 === 滴滴百度回应：防疫物资生产设备和测试已于1月25日全面恢复生产；腾讯表示，公司正在积极履行国家政策监督管理委员会委员、央行等五部委《关于加强全国范围内的医疗器械公司的疫情防控和生产经营管理暂行办法》的要求，积

=== GENERATED SEQUENCE 8 === 滴滴百度也顺利进行技术调整，并表示，旗下多家城市入选的商品供应商，已经成为蚂蚁金服全国布局的第三方商家。与阿里、京东、天猫一样，苏宁易购、天猫，京东和淘宝在各有一定经验的生态布局。2018年5月，苏宁易购迎来

=== GENERATED SEQUENCE 9 === 滴滴百度“相关服务公司”（36氪）出品：针对医疗机构和公益慈善机构推出“疫情小程序、疫情小程序、疫情咨询”等服务，可在百度App上线疫情咨询，防疫公众号、专家直接触地图等全国各地疫情相关权威信息。来源：IT时

=== GENERATED SEQUENCE 10 === 滴滴百度的眼睛正在面对所有远程办公。北京一中院的受访表示，这个视频会被为互联网大把握，但通过应用场景下的电脑显示功能可以直接将软件下载所需的所有资源送至自己手中。目前来看，尽管公司的业务规模不及预期，但它已经

=== GENERATED SEQUENCE 11 === 滴滴百度的200多家公司从事通信产业互联网业务，转而开拓“医疗健康”、“医疗健康”和“金融同步”三个板块。从事医疗服务业务的商业模式，从另一个方向是用户，服务范围也仅次于游戏、线下娱乐、医疗、汽车等，不过今年

=== GENERATED SEQUENCE 12 === 滴滴百度还在第二季度财报中表示，“对于平台而言，是一个重要的发展，如果未来智能音箱在2020年的强劲目标，它在其2020年有望达到500亿美元市值。”据36氪了解，阿里巴巴旗下的百度音乐、人工智能、智能科技、

=== GENERATED SEQUENCE 13 === 滴滴百度相关人士称，百度暂未发放使用Haba购物平台。截至2月13日，百度App为全球供应商和服务商提供App上线排行榜，用户可以搜索前二维图新、内容服务、公司平台产品和服务等。百度方面表示，针对湖北等疫情，

=== GENERATED SEQUENCE 14 === 滴滴百度App的总使用时长和为1872分。　　2月25日，相关用户收到了25.4亿条钉钉，百度全平台上信用卡，超过5亿人次使用百度统计了同时发现金鹰95级应用（12.4亿）的战役，用时长220分钟，即便在百度

=== GENERATED SEQUENCE 15 === 滴滴百度也先后在打出相应的平台，仍然在积极承担搜索质量。大量的改善之后，小程序也得到了广泛的认可。此外，头条并不强调用户的使用场景，而小程序则是出于内容、个性化的三大原因。但反观小程序来说，微信对搜索引擎不能

=== GENERATED SEQUENCE 16 === 滴滴百度已取得了强大的不确定性。2019年12月，北京市神舟创新研究院发布《全国正式起诉京东开会》，将不允许承担任何义务。京东方面透露，目前京东对京东并无更新其他合作伙伴的裁决。对于京东而言，裁判只是一件有争

=== GENERATED SEQUENCE 17 === 滴滴百度此前宣布，将与电商平台友好：1、微博、淘宝网、腾讯新闻、网易新闻等6家头部企业联合打造在线办公平台，2、基于公有云平台的数据，已经实现了公有云、广东、上云的融合。2、腾讯创始人兼CEO张博截图2、腾讯

=== GENERATED SEQUENCE 18 === 滴滴百度的估值还没有达到40亿美元。（完） 腾编者按：本文来自微信公众号“AI报告-出海”（ID：danchuaijingstuo），作者：谢晓晨，36氪经授权发布。但腾讯科技的估值从101亿美元上调至101

=== GENERATED SEQUENCE 19 === 滴滴百度应对此事无需了，对方就所有的信息给出了“不想过审核”。腾讯与百度相关负责人表示，希望通过使用百度的服务，同时与日常生活息息相关，把身份认证给百度。（文章来源：Tech星球）在日前刚刚过去的2018年，

=== GENERATED SEQUENCE 20 === 滴滴百度的支付宝小程序，前者也发现，这些支付宝小程序已经形成了覆盖至多城市。而与此同时，在全国范围内，小程序已经在百度内推出了服务异常、便利的自主附加值服务，将支付宝小程序转移到了自己手里。如今，这场大概还有